国内顶流模型层和中间层，怎么看大模型落地应用？
访谈嘉宾：
01
是时候转到下一阶段了
Founder Park 张鹏：
上半年大模型非常火爆，做大模型的公司像雨后春笋般涌现，整个大模型领域似乎一日千里。但后来似乎发展没那么快，最近很直观的感受是没有那么多公司天天发布模型进展了。似乎这一波技术变革遇到了瓶颈？
在这个时候落地一个 Hackathon，很多社区成员都有疑问，我们是怎么想的？
我们先来听听智谱的看法。
智谱 AI 张鹏：
过去一段时间很多人投身大模型。大家听到各种各样的模型发布，可能大家对大模型都有点审美疲劳了。真正的应用却很少看到。
下一步的应用在哪呢？解答这个问题需要更多人把精力、注意力放到基于模型的应用开发、场景开发上。于是我们联合 Founder Park 来做 Hackathon。
Founder Park 张鹏：
真正的应用落地，需要更多人实际操作。Founder Park 这样的创业者社区聚集了一帮落地 AGI 的人，我们叫 AGI Doer。我觉得在大家都不狂热的时候，其实反而是做事儿的好时候。
那我再问问星爵，向量数据库在这半年发展非常快，你们几乎可以算这半年的明星企业了。你们为什么考虑一起做 Hackathon 呢？
Zilliz 星爵：
首先大模型走到今天，已经从模型端发展到应用端创新。尤其在上半年出现的很多优秀大模型，现在都已经发布了，这意味着大模型已经真正走向了主流开发者。
回顾移动互联网兴起的时代，我们都知道更大更长期的创新一定是来自应用层。这对应我们如何利用模型端的创新去赋能各行各业。同时在过去一年里，我们看到海外尤其是硅谷的 Hackathon 办得如火如荼，基本上每个周末都会有一个主要城市举办 Hackathon，这是值得学习借鉴的势头。
因此，这个时候我们希望将大家聚在一起，通过 Hackathon 去发掘新的 idea，做出解决实际问题的 AI 场景创新应用，召集全球开发者一起创新。
Founder Park 张鹏：
我非常赞同两位说的。这让我想起 2010 年前后的移动互联网时代。极客公园 10 年成立，经历了一整个周期。回过头看，AI Native 已经到了一个新的开端，需要大家一起下场寻找有价值，可落地的场景了。
这个紧要关头我们和大模型、向量数据库领域最强的两家技术公司站在一起，赋能 AI Native 的应用创新。如果能通过这次 Hackathon involve 更多 AGI 时代的产品经理，甚至诞生一两个引领未来的应用，赢得属于参与者的 Lead Time 那就太棒了。
说到这里我要引入另一个非常重要的技术伙伴路宇。你们对现阶段的发展是怎么看的？
Dify.AI 张路宇：
作为 AI 中间件，我们做的是在充分了解模型层能力的情况下，抽象共通的能力打造应用，帮技术员降低工程门槛。
我们发现很多应用开发者想做一个东西，需要花大量时间解决技术栈的问题。我看到这次 Hackathon 号称 48 小时写个应用，我非常担忧，因为我觉得 48 小时可能搞不定，于是要出来帮助大家。
Founder Park 张鹏：
那我再问一下智谱张鹏总，也是我们社区大家比较关心的一个话题：我们 Hackathon 的主题聚焦在生产力工具、泛娱乐以及创新开发这三个方向。背后是怎么考虑的？
智谱 AI 张鹏：
嗯。这个问题很有意思。我们认为任何一个技术能否持续活跃下去，或者说能发展到什么样的高度，很大程度上取决于它为人类社会、为这个世界创造的价值，真正的价值。
那么到现在的为止，大家能看到的大模型，或者说 AI 技术，能给大家带来的核心价值无非在两个方面，一个是提升生产力，也就是工作上，另一个是让大家活得更开心一点，也就是娱乐上。
所以我们就把大的方向主题确定了。然后创新开发单独列出来主要是因为「创新」。我们认为一个新技术要做到前面两件事都离不开创新这一点。
Founder Park 张鹏：
所以下一代应用开发和构建的方式也需要有创新，那么有没有跟上一代明显不同的东西？举两个例子让大家感受一下。
智谱 AI 张鹏：
可以。我们有一个很紧密的合作伙伴，一直合作了好几年，它最早的时候是采用 NLP 技术做一系列任务，包括搜索推荐、情感分析等等。他在整个业务链条里设计了很多模型，一个模型负责一个任务，然后用不同的数据去训练。这导致他们的算法团队很庞大，几乎每一个算法都有一个独立算法工程师，加上几个数据工程师。最终整个研发团队规模变得巨大。
跟我们合作一段时间后，他发现大规模的预训练模型，比如说十亿或者百亿级别的模型效果，真的比原先用 NLP 训练的模型要好，于是就尝试把任务改写一下，用大模型代替原来的机器学习模型。
这是第一次尝试。他发现训练一个 GLM 模型衍生出来的小模型就能解决这些问题，同时提升了效率，减轻了模型研发工作量。但这个阶段使用的模型还是通过蒸馏之类的传统方法训练，我们叫做垂直模型。
后来，当模型训练量推到千亿级别，或者大几百亿以上，他发现能力又不同了，一个模型就能干好多好多事情。也就是说不需要去蒸馏那么多模型就可以满足性能需求。
最终他将大几十个垂直模型缩减到十个，同时整个算法研究团队以及维护团队又缩小了一波。
本质上就是将原先一个 Pipeline 式的基础设施--独立开发、维护、升级改造每个模块，过程中还需要协调整个系统，牵一发而动全身。通过大模型改造后用统一的基座支持应用，可以节省大量人力。同时未来的研发流程效率也有本质提升。
Founder Park 张鹏：
也就是说 AGI 作为一个更通用的能力，可以一次性解决原先碎片化的任务，并且效率更高，效果更好了。就像训练了一个大学生代替原先只会拧螺丝的小学生。那么星爵是怎么考虑 Hackathon 这三个方向的？
Zilliz 星爵：
其实当时的话我的看法还蛮简单，主要是三个方面。
第一个方向是为行业赋能。我们认为做下一代 AI 应用需要很多创新工具，于是我们将开发生产力工具放在第一位，也就是授人以渔的过程。
第二个方向是借助泛娱乐化的内容带动气氛。近几年，大家或多或少都经历了一些艰难时刻，趣味性的内容可以在一定程度上促使大家变得更加乐观、积极。
第三个方向是为了鼓励大家共创。希望大家在 AIGC 应用方向一起更开放地创新。
Founder Park 张鹏：
路宇看了我们定的方向之后，你的感觉怎么样啊？你认同这几个方向吗？
Dify.AI 张路宇：
没毛病，尤其泛娱乐和生产力工具两个方向特别好。
首先历史上新技术的演进，比如 DVD 的快速普及靠的就是娱乐内容驱动，本质是刺激消费者的多巴胺。包括 PC 时代的各类经典游戏，比如最早期 Windows 的纸牌游戏，微软做的帝国时代游戏都属于这一类。
第二个 PC 时代带动个人电脑销售最经典的应用就是生产力工具 Excel，它不仅带动了 Windows 销售，也带动了个人电脑迅速繁荣。这都是非常好的方向。
02
从一线需求看大模型落地趋势
Founder Park 张鹏：
星爵之前跟我提过向量数据库领域的一个规律，就是「谁用的越多，谁就用的越好」。那今天能不能从向量数据库领域用的最多的客户跟我们聊聊他们都在做什么，能看出哪些趋势？
Zilliz 星爵：
过去几个月我们看到各行各业应用大模型，都需要将自己企业内部知识库，也就是私域知识跟大模型整合。金融、电信、互联网、娱乐等几乎所有行业不同规模的公司都需要构建自己的知识库，快速获取内部知识。
过去半年 RAG 应用数量呈现出持续井喷的状态。我们预计未来至少一年的时间里 RAG 仍会保持迅猛增长的态势。未来，其涵盖的内容会从文本跨越到图片、视频等多模态，甚至用户的 profile。最终解决“企业数据如何高效使用”的问题。
从这个角度看，我们认为 RAG 在之前、现在以及未来都会是一个持续的增长点。
此外，我们还看到很多不同方向的 AIGC 应用创新，比如具身智能，自动驾驶，虚拟药物发现等。以具身智能为例，大模型需要在应用场景里通过上下文学习更好的理解用户意图，从而提供更加定制化的服务，这也需要向量数据库的支持。
Founder Park 张鹏：
所以你们看到的已经不仅仅是大家最熟悉的场景，也就是说大模型在更多领域结合向量数据库落地应用了，我觉得这非常值得关注。那么我想问问智谱，国内运用大模型的公司很多，甚至你们的客户都排起了长队，能不能帮我们总结一下客户都想用大模型做什么？
智谱 AI 张鹏：
说实话其实大家没太想明白到底能用大模型做什么，能说清楚的就更少了。大家普遍都有很高的期望值，想用大模型一试百灵，但其实不是这样的。比较明确的就我刚才讲的那个合作伙伴的例子。我希望通过这个例子给大家一个很好的提示：大模型并不是个一蹴而就的技术。
每一个革命性的技术都是循序渐进地发展，通过慢慢磨合，寻找到应用方法，从而解决问题。急于求成并不可行。
这也是为什么智谱从第一天开始就以非常开放的态度开发大模型，就是希望让大家能够以开放的心态，一起来把这件事情做得更好。
关注我们的人知道，我们发布的所有产品，都可以找到对应的开源版本。那关于商业价值，其实大家思考更多的是，我能拿这个东西来创造什么样的价值，也就是先用起来，产生实用价值，我觉得这个是最根本的。
Founder Park 张鹏：
说到这儿我也想问问路宇，从你的视角来看，现在用中间件用的比较好的用户，他们都在做什么样的东西？有没有这方面的经验可以分享？
Dify.AI 张路宇：
嗯。关于应用我们有一些切实的数据，Dify 从推出到今天有 7 万多个应用样本，涵盖了包括 GPT-4 在内的数十种模型。从应用创建的数量上来说，toC 应用比例高一点，toB 应用少一点，但是从真正投产的角度，并且持续有用户或者留存的角度来看，toB 的反而高一点，toC 低一点。具体原因我总结了三点：
第一个是 toC 应用赛道相对标准化，而且有很强的赢家通吃效应。就是说如果品质不够就会被干掉。但反观 toB，应用多样性更足，可能同一个应用在不同企业里面都会被再理解一次，再造一遍。
第二个是我们发现 toB 用户对大模型有更大的包容性，就比如说我做一个小的垂直的生产工具，大家目标明确，预期合理，行就是行，不行就是不行，接受度更高。但 toC 用户，比如做一个通用的 chatbot，用户的预期会很高，甚至说用各种智力测试体系反过来挑战，如果发现你不行，用户就不再相信，不使用了。
第三个，toC 应用为什么留存相对低？因为这个时代的 toC 应用很多方面和原来是一样的，首先优秀的 toC 产品经理非常稀缺，toC 对团队的要求更高，应用打磨时间更长。
另外从数据上来说，我们现在的样本看到 AIGC 应用有 19% 是客服，10% 是通用的聊天机器人，9% 是内容营销，7% 是 BI 数据分析相关的。然后是一些效率工具、教学应用、情感陪伴，以及硬件的指令识别等等。我相信这个数据在各种技术栈里应该差不多。
03
应用落地最重要的三个问题
Founder Park 张鹏：
当下，所有大模型相关的技术、业务、应用都还未被明确定义。其实有一个问题挺有意思，就是在推动大模型真正落地的过程中，普遍的去观察你们的客户，你们的伙伴，如果要说三个最重要的问题，你们会说什么？我想先听张鹏总说说。
智谱 AI 张鹏：
那我就凭直觉说三点。
第一个是大家的需求是非常非常模糊的。有一个很有名的故事，就是在没有汽车之前，当你问客户需要什么，客户绝对不会告诉你我需要一辆宝马车，只会告诉你说我需要一批更快的马。这就是需求在哪里的问题。根源在于人们在面对创新的时候有思维惯性，往往只会线性地外推。
第二个问题是如何创新，如果把大模型比做一门大炮，那么对于开发者来说，怎么把这个大炮用好？
然后第三个事情更现实一点，就是算力。大模型时代，算力需求被拉得非常高。不管是做模型还是做应用，算力都是一个绕不开的问题。ChatGPT 每天那么多用户，算力成本能顶住。当大家真要做一个好应用出来，那必然要考虑未来的成本，怎么解决算力成本的问题。
Founder Park 张鹏：
我觉得这三点总结得非常好，星爵有没有一些补充。
Zilliz 星爵：
我认为首先是我们如何去定义范式的变化。比如过去十年移动应用开发，对于「如何做出一个更好的应用程序」往往有比较明确的目标和衡量标准。现在，我们如何适应大模型时代的应用开发呢？
我们都知道大模型很厉害，但也有很多局限性，比如会出现幻觉，或者在一些领域准确度较低。但是，我们应该如何适应这件事情？换句话说，人类都会犯错，比如我每周会犯很多错误。那我们应该要求大模型 100% 正确吗？还是说我们应该理解大模型的不确定性，局限性，调整应用程序的衡量标准。比如正确率 80% 甚至 70% 就 OK。
本质上这是思考方式和开发范式的转变。我认为会是接下来要解决的一个根本问题。
第二个问题，我觉得是生态系统工具还不够完善。现在开发工具很多，但还缺乏大家更熟悉，更高效，更简便的工具。
第三个问题，我觉得是参与者太少了。核心是大模型应用开发者和产品经理太少。不论是做网站，移动应用还是其他类型的应用。只有开发者数量够多，应用足够密集，才能有原始的创新。在此也倡导大家多参加我们的活动，花一周时间就能很快入门是很划算的。
Founder Park 张鹏：
我非常赞同。下一个阶段我觉得离不开 AGI 领域的产品经理，这群人未必是搞 AI 的，而应该是在产业里，在场景里做个产品，因为 AI 是一种工具，要让它更通用、更简单。
04
LLMOps 会客观存在
但形态不确定
Founder Park 张鹏：
那我想再问问路宇，最近比较火的 LLMOps，每个人都有不同的理解，你怎么看？
Dify.AI 张路宇：
OK。目前 LLMOps 这个词定义还比较宽泛，我们可以大概认为是 Infra 层，分前后两端。前端是算力优化或者推理框架。后端是偏 prompt 工程，以及应用投产之后的数据运维。
OPS 它指的并不是传统的运维，而是一个能够持续改进、持续运营的 PTC 回路。传统运维一般指的是产品投产后的维护工作。AI 应用开发时代（尤其现在是早期）则不同，需要大量用户反馈反哺应用构建。比如应用诞生的时候是 60 分，那从 60 分到 80 分、90 分的过程中，需要通过运营数据去观察这个模型，改进的 prompt。因此这个时候的 OPS 还需要承担很多产品完善的工作。
这是我们理解的 OPS，可能接下来半年，一年内这个词会具体分化，出现一个具体的品类，或者换个词形容这部分工作。但是我今天想强调的是 OPS 这个词背后的这个内涵。它应该指的是应用落地后才产生的业务，换句话说只有需要投产的产品才需要 OPS。
Founder Park 张鹏：
那从智谱的角度来看，OPS 这个词最近热度突然开始上升，总体来讲是不是大模型也真正往应用落地深入了？
智谱 AI 张鹏：
我对这件事情有两种感受，第一个感受是 OPS 这个事情确实提到的越来越多，根本原因是越来越多的人已经开始深入落地应用了。同时 OPS 概念在云时代已经被大家所接受和重视。所以大家会习惯性地线性外推，认为现在也是很重要的一件事。
第二个感受是现在大模型越来越多，于是很多用户会觉得我没有必要只押宝某一个模型，我可以兼容并蓄。但是多个模型的维护成本会提升，于是这类用户会考虑能不能通过技术手段来降低维护难度和成本，最终自然而然就想到 OPS。
05
极简技术栈是应用涌现的前提
Founder Park 张鹏：
那就是说我们今天探讨 AI native 应用，开发和 OPS 两方都要考虑，这是今天不得不面对的现实和挑战。
我记得星爵在之前提出过这样一个观点：极简的技术栈，是应用涌现的前提。请星爵解释一下，你当时为什么会有这个结论？
Zilliz 星爵：
好的。其实我们把时间线拉长就能看清楚。过去十多年的移动计算革命就是一个例子。
07、08 年的时候大家都有功能手机，但是那时候移动开发非常难，开发者苦生态久矣。根本原因是开发工具和生态不完善。那时候内存很紧凑，开发一个程序需要一点点抠效率，同时开发工具非常欠缺，C 语言几乎是唯一选择。然后调试也非常麻烦，并且测试和运行环境成本很高。
后来苹果和谷歌带来了革新。iOS 跟安卓作为新的开发平台，先提供了可视化编程工具，以及 Java、ObjectiveC、甚至后来的 Swift 开发语言，开发效率一下子提高了几十倍。同时又出现了 MongoDB、FireBase 这样的文档型数据库，以及 Restful service 数据交换服务，极大方便了服务器，移动应用程序之间的数据管理。不仅如此，也涌现了很多 UI/UX 设计工具，比如最开始的 Step，后来的 Figma。
总的来说就是移动操作系统上出现了面向移动应用程序开发的高效管理文档的数据库，再加上便捷的前端开发工具，使得应用程序开发门槛降低了。这样极简的移动开发栈降低了学习成本和开发成本，降低了知识传播和延续的成本。也就出现了我们常见的开发团队配置，一个产品经理，一个设计师和一个码农，基本上三个人就可以干一个应用程序。
回头看，我觉得当时谷歌和苹果最大的贡献在于他们提供了一个极其简单、极其好用的开发工具链，并打造了完善的开发生态。
那么我们再把时间放到现在，上一代 AI 模型训练很复杂。需要很多 PHD，高级开发工程师做调优，筛选，清洗大量数据。调优，清洗数据需要很大的集群，开发过程中工具很缺乏。
大模型的出现解决了 80% 以上的问题，开发者需要大模型的时候可以开箱即用，不需要处理复杂的预训练工作。开发过程中有大量 DevOps 框架和工具，包括 Dify，Langchain、LlamaIndex，进一步简化了应用开发，降低了门槛。应用落地后也有很好用的数据管理工具，比如向量数据库。甚至出现了很多 prompt 工具，方法，可以让产品经理，甚至不懂编程逻辑的人将商业逻辑通过自然语言传达给计算机。
于是就出现了 CVP Stack。C 是以 ChatGPT 为代表的大语言模型开发框架，V 代表向量数据库，P 代表 Prompt。现在，只要有一个提示词工程团队，基本上就可以把一个应用程序做出来。这让很多被上一代 AI 劝退的产品经理、应用程序开发工程师，开始重新审视这个事情。
Founder Park 张鹏：
归根结底还是现在这波 AI 浪潮逐渐形成了越来越简单、简洁、有效的技术栈，可以做新一代 AGI 产品开发了。在今天我觉得这种新范式对 AGI 产品经理会是个解放。
06
中间层有哪些机会？
Founder Park 张鹏：
说到更简洁的技术栈，我们也要聊聊中间层这个概念。大模型技术要做应用落地，也离不开中间层这一套体系。那么大模型时代，中间层会有哪些比较大的发展的机会，然后哪些机会已经开始出现苗头了？先听听路宇怎么看？
Dify.AI 张路宇：
中间层离应用很近，也并不缺某一种硬科技，大家都面临不确定性的问题。所以我认为本土团队和全球团队在同一个起跑线上，当下的时机非常好。同时中国团队可能更拼，也有非常好的产品抽象能力。
当然了中间层也面临一些挑战，在于它需要接受一个高度的不确定性。如果我们把中间层比作一个电脑主板，把大模型当做 CPU，数据库可能是一个内存条。那么中间层作为主板，它要集成包括 CPU、内存条和一些七七八八的技术栈，最终给用户交付一个电脑。从主板到终端产品中间有很多不可控因素需要考量。
其实我们做中间层有两种选择，第一个是做一个优秀的通用中间层，然后根据某一类用户特别多的情景，比如客服业务，去做一个垂直能力更好的中间层，这本质上是做一个技术。还有另外一个选择，是先做一个优秀的垂直应用，然后把中间层开放能力做得更好一点，对外输出解决方案，或者 API，这本质上是做一个产品。
这两个选择在早期效果是一样的。甚至说直接做一个垂直应用更容易落地，诱惑可能更大。
然而在技术发展的早期，尤其是初创公司想参与这个事，可能面临的第一个问题，就是「云厂商什么都想做」。这时候可能就需要形成一些默契，大厂把生态做得好一点，中间的厂商为了避免这些问题，第一天就要出海，面向全球去做。
Zilliz 星爵：
说到中间层我想从经济学的角度分享一下我的看法。做中间层本质上是做程序员的生意，两头都是开发者。那么首先就取决于开发群体有多大。过去十年里，我们发现中国的程序员增长是全世界最快的。
按现在这个增速来说，中国开发者群体马上要超过美国成为全世界第一了。所以从基本面上讲，潜在购买群体基数变大了，这是个好事情。
第二个是开发者的购买力问题。很多年前中国开发者的平均收入只是西方开发者，尤其北美开发者的 1/ 5 到 1/ 10。而现在中国开发者的成本已经达到了美国开发者的 50%，甚至到 75% 了。那么这个时候，所有老板就要考虑一个问题：工程师已经很贵了，我是不是买点中间层的软件给他提升效率，节约时间，产生更多价值？
第三，现在越来越多的中国公司的开发者，他们可以自己掏出微信、支付宝，信用卡，购买一个软件，尤其是中间层的小软件，不太需要走采购，不需要通过 CIO、 CTO 的层层审批了，也就是说他们具有购买力，具备购买的话语权了。
这三点加在一起，我觉得对中间层的开发者，尤其对所有的 to develop 的公司来说，是一个特别大的利好，也希望有更多的开发者能够加入到这个赛道中来。
07
美国的 AI Native 应用新趋势
Founder Park 张鹏：
那说到 AI 应用，我们把话头转到星爵这边，你最近在美国有看到比较 AI native 的应用吗？
Zilliz 星爵：
这一波 AIGC 应用美国大概比中国开发者早半年。这从几个落地应用领域，包括聊天机器人、智能客服，AIGC 生产效率工具，以及 RAG 相关应用，就能看出来。但坦白讲应用端的差距已经比较小了。
下一个还在持续升温的大的热点就是 Agent，智能体。咱们国内开发者可能还稍微晚那么一点点。国外开发者也没有做出特别惊艳的杀手级应用程序，但是他们探索试错的脚步，走在了我们前面，我觉得这是我们要去追赶的。
今年上半年 Stanford 的 AI 智能体文章出来。探讨我们如何赋予智能体更复杂的能力，怎么去拆解任务，怎么去把各种不同的能力串起来，这一块其实是一个特别大的蓝海市场。因为智能体智能客服，聊天机器人不同，在大模型出现之前他完全不存在，是一个纯粹 AI- Native 的市场。
08
Agents 是真正的 AI-Native
Founder Park 张鹏：
说到 Agent，我们直播间里有很多人对这个很感兴趣，我们也听听这个智谱的张鹏总怎么看这个 Agent？还有 Agent 接下来的发展？
智谱 AI 张鹏：
Agent 肯定是非常非常重要的一个事情。大家都有一个愿景就是让机器像人一样去思考，那其实思考只是和这个世界交互的第一步，需要付诸行动，才会对世界产生影响，Agent 正好是这样一个载体。
我们认为 Agent 就是让 LLM 和互联网以及现实世界快速有效连接的一种手段。
做 Agent 需要考虑很多问题。首先是如何做跨模态认知。第二是如何通过强化学习优化模型。
最近我们和清华的团队一起发布了 Agent bench 评测集，也通过这个评测集的方式去测试了不同的大模型水平。评测结果我们可以很直白的告诉大家，其实我们和世界顶级的 GPT 相比，水平还是有明显差距。因此这也是我们下一个阶段重点要去追赶的方面。
Founder Park 张鹏：
我其实蛮期待咱们创业大赛里能看到这方面的一些应用。想听听路宇有什么样的方式帮开发者们去解决相关问题？
Dify.AI 张路宇：
Agent 这个技术我们关注半年了。首先 Agent 有两个意思，第一个是指 AI 与现实世界的连接，调度现实能力的技术。第二是指 AI 对标人类的长过程、长记忆的能力。
第一项主要用在单步骤或者是成熟场景里。第二项其实目前基于任何大模型开发的需要长过程、长期记忆的 Agent 应用，都是不及格的。
这里有两个挑战，第一个是模型本身的智能程度，也就是效率和速度问题。第二个是 Agent 需要做 Memory 管理，也就是记忆管理。记忆系统不断的去调度过去的回忆，或者说知识片段，把它抽取出来加工成自己的上下文，然后再不断的去循环迭代运作。
从中间件来看，大家在 Memory 管理方面的经验还是很粗糙。比如做一个自动编程的 Agent 应用，大模型注意力机制局限性太强，会导致 Memory 管理不成熟。三四千个字符的 Prompt 到底怎么处理，以及多模态应用怎么开发，业界还没有一个共识。就导致现在就很难做出很好的效果。
Founder Park 张鹏：
这件事听起来就让人兴奋，既然讲到长期记忆，我想问一下星爵：Agent 未来要对标人类，那向量数据库是不是就不光需要处理内存的问题了？换句话说 Agent 在技术、产品方面你有哪些思考？
Zilliz 星爵：
首先我认为未来会有不同模型去负责智能体的不同需求，比如感知模型，推理模型，计算模型，然后不同模型之间通过自然语言交流。
向量数据本质上是各种图片、视频、语音类型的非结构化数据的语义表征，利用向量数据可以无差别的在一个语义空间里将不同的能力串联起来。也更方便沉淀、存储和检索。
所以长远来看，我们认为向量数据库会扮演一个中枢的角色，承载记忆体跨模态之间的信息交换。我很好奇未来我们如何设计一个更好的 Embedding 模型，处理更复杂的 Context，甚至跨模态上下文。然后模型既能捕捉长期记忆，又能检索到某一个片段、具体事件或者具体行为。也基于此，我们过去几年除了做稠密的向量支持外，也做了稀疏的向量支持。希望能综合起来为智能体提供完整的记忆。
09
Plugins 还会回来的
Founder Park 张鹏：
前段时间 plugin 很火，你们怎么看这个事儿？是不是说未来会有一个中心化大模型应用，利用 plugin 把这个世界链接起来。或者大模型无处不在，但它未必是一个中心化的产品，而是一个去中心化的技术，在很多地方起作用？我们先来听听智谱怎么看？
智谱 AI 张鹏：
我认为这两个方向并不矛盾，而且是必然存在的。只是在不同时间点会体现出不同的影响力和效果。
科学家定义的人类智能除了运用语言之外，还能制造和使用工具。早期大家看到 LLM 除了能回答问题外，还能通过 Plugin 帮我做很多其他事情，正好吻合大家对人类智能的认知，所以很容易被大家接受。
然而我们仔细思考会发现，其实 Plugin 的原理是让 LLM 成为人类用自然语言表达需求的工具，让 LLM 作为一个工具去解决人机交互的问题。反过来看，当我们在应用场景里需要解决人机交互问题时引入 LLM，也一样是将大模型当作工具使用，只是体现形式上有些差异。所以本质上来说中心化大模型以及分布式大模型是一致的，会同时存在。
那为什么现在 plugin 好像不热了？
因为大模型应用已经真正下沉到具体场景里解决具体需求了。于是大家把 plugin 放一放，先解决行业和具体场景问题。但未来人们需要一个真正的智能体的时候，他自然会回归，还是需要各种各样的工具。我认为这是一个螺旋上升的过程，并不矛盾。
10
给 AGI 开发者的建议
Founder Park 张鹏：
这个说法很有启发。那最后一个问题是想让大家给 AGI 时代的 Doer 们一些建议，比如可以讲讲在今天由大模型通向 AGI 的时代，跟过去比什么更重要了？什么不重要？路宇先讲讲呗。
Dify.AI 张路宇：
好的。我觉得第一个是我们得理解大模型这个技术的本质到底是什么？我认为大模型带来的最大跃迁是对非结构化数据的处理能力。比如自然语言与代码之间的转换，大模型能很高效地处理。
第二是一定要做场景收敛，对大模型有一个正确的预期。现在做一个相对成熟的 Agent 需要三个月起步，虽然大模型很强，但如果想让大模型解决所有问题，那就没办法组织应用功能，以至于后期技术栈，memory 等关键点就很难做。
第三是多参与、多思考、多迭代。大模型这波技术浪潮既有新市场，又没有低垂的果实，所以想摘到果子还是需要花点心思。对于我们这样一个做大模型中间件的团队来说，过去几个月几乎每个月认知都在迭代，每个月都和上个月不一样。
那么如果你是一个应用创业者的话，肯定和我们一样需要理解大模型技术栈，以及市场需求、关键挑战，团队激励、团队协作等方方面面。对于开发者，我最想给的建议是先参与进来，不管是先动手，参加 Hackathon，还是尽可能地在公司内争取资源搞事儿，哪怕很小的成本，也要先参与进来，去感受这个事情。
Founder Park 张鹏：
非常好。星爵怎么看这件事呢？
Zilliz 星爵：
先说什么不重要了，我觉得现在学 AI 的理论知识，包括 fine-tuning、蒸馏这种复杂的技术不那么重要了。
那什么重要呢？第一个肯定是如何把业务逻辑翻译成 prompt，用自然的交互方式去定义你的商业逻辑，用户需求，最终服务用户，这是重要的。
第二个，如何接受大模型的不完美，甚至一些错误，然后将这些不完美设计成一个 new feature 放到你的 App 里面，这个变得更重要了。
Founder Park 张鹏：
这个观点经常出现，就是有时候把自己的缺点做成特点，反而就是竞争力。那最后来听听张鹏总给大家什么建议？
智谱 AI 张鹏：
我非常赞同路宇的观点。那我来补充一些我的想法。
什么东西更重要？我认为是你的创新性思维。这个时代机器能力提升了一大截，甚至平均能力可能已经逼近人类水平。这种情况下因循守旧开发方式，或者开发流程，可能就不那么 work，所以需要很强的创新思维。
第二，学习探索精神。这是个急剧变化的时代，所以必须得保持学习和探索的精神。
第三点是我最近的一个感悟，就是有一个正确的价值观非常重要。我们做一个事情要想长久，并且获得很多人的赞同，本质上是取决于这件事情给社会创造的价值。这个价值一定需要是正向的。
换句话说我们不希望利用技术去作恶，所以要秉持一种正确的价值观。我觉得这是很重要的。
Founder Park 张鹏：
非常好，今天三位在我们最终总结的时候，cover 了整个 AGI 时代要做产品创新应该关注的视角。我觉得最重要的是，既然是一个全新的时代，就需要放下历史惯性，然后面向未来重新去摸索。
换句话说就是最重要的是「先下场」，这是走向这个时代的第一步。期待未来在这个舞会里，这次的 Hackathon 里能诞生一批 AGI 时代的产品经理的种子。也期待很多优秀的应用会从今年开始去积累它的 lead time。
那感谢今天三位技术大牛，感谢大家的时间，希望以后常来做客，我们下回再见。
AGI Doer Talk
AGI Doer Talk 是 Founder Park 旗下的早期创业者分享系列。
我们通过一系列【AI × 垂直话题】展开的线上研讨会，为从业者们提供相互切磋和友好讨论的环境。
我们也邀请更多关注大模型行业的朋友们，一起来探讨 AGI 时代的非共识和认知，跟上大模型引发的新范式革命。如果你正在大模型领域进行创业，已经拥有产品 Demo，也想通过 AGI Doer Talk 进行交流分享，欢迎扫码报名👇：
如果你关注大模型领域，欢迎扫码加入我们的大模型交流群，来一起探讨大模型时代的共识和认知，跟上大模型时代的这股浪潮。
不一样的 AGI 黑客松！Founder Park x Zilliz x 智谱 AI 联合发起！
OpenAI科学家Jason Wei专访：思维链灵感来源于冥想